Đàn Nam Giao ở kinh thành Thăng Long có một lịch sử phát triển và tồn tại lâu dài nhất so với những đàn Nam Giao hiện biết. Đàn Nam Giao Thăng Long trải qua các triều đại Lý, Trần, Lê Sơ, Mạc, Lê Trung Hưng và một giai đoạn ngắn của thời Tây Sơn, đã được ghi chép trong khá nhiều sử sách, bia kí và địa bạ cổ nước ta như: Đại Việt sử kí toàn thư, Kiến văn tiểu lục, Lê triều hội điển, Vũ trung tùy bút, Khâm định Việt sử thông giám cương mục, Đại Nam nhất thống chí, Thăng Long cổ tích khảo, Địa bạ huyện Thọ Xương, Nam Giao điện bi ký. Đại Việt sử ký toàn thư ghi lại chi tiết đầu tiên nhắc tới đàn tế giao vào năm 1154, đời Lý Anh Tông:

Phan Huy Chú trong sách Lịch triều hiến chương loại chí đã dẫn lời của Ngô Ngọ Phong (thời Lê): “ Từ nhà Trần về trước, không làm lễ Giao tế Trời, lễ ý văn vật thiếu sót nhiều vậy”. Nhưng khi chép về việc Hồ Hán Thương tổ chức tế Nam Giao thì có đoạn: "Theo lệ cũ, cứ ba năm một lần đại lễ, vua ngồi xe thái bình (...) hai năm làm trung lễ, vua ngồi ngai bách cầm (...) hằng năm làm tiểu lễ, vua ngồi ngai nhỏ”[6]. Lệ cũ mà nhà Hồ noi theo không phải của nhà Lý như các học giả đời sau phỏng đoán mà chính là lệ nhà Trần. Khi khai quật khảo cổ đã phát hiện được số dấu tích của kiến trúc thời Trần, cùng khá nhiều vật liệu kiến trúc và trang trí kiến trúc như tượng uyên ương, lá đề trang trí rồng, phượng. Điều này đã cho thấy thời Trần vẫn xây dựng và củng cố đàn Nam Giao. Điều đó cũng có nghĩa là tế Nam Giao vẫn được tổ chức. Tuy nhiên, cũng như thời Lí, những nghi lễ về tế Nam Giao lại không được ghi chép[7]

Từ thời Lê trở đi, nhất là từ thời Lê Trung Hưng, việc tế Giao và xây dựng đàn Nam Giao được ghi chép nhiều hơn. Lê Quý Đôn ghi trong Kiến văn tiểu lục[8]:

Đời Hồng Đức định quy chế về đàn Nam Giao; điện Chiêu sự ba gian hai chái, đông vũ và tây vũ đều bảy gian, lại có điện canh ly2826, nhà trai cung2827 và nhà bếp, mở ba tầng cửa, bốn chung quanh xây tường.

Phan Huy Chú ghi trong Lịch triều hiến chương loại chí[9].:

Huyền Tông, năm Cảnh Trị thứ nhất (1663) làm điện Nam Giao. Trước kia lễ tế Giao, mỗi năm đắp nền ở chính giữa để tế Trời Đất, nền dài 15 thước, cao 5 tấc, hai bên tả hữu thờ các vị sao, đều đắp nền dài 16 thước, cao 3 tấc, bốn bên trồng cây, đằng trước mở ba cửa. Đến bây giờ mới sai làm điện, giữa là điện Chiêu Sự, bốn góc cột bằng đá, nền và sân trong ngoài đều lát đá, rường, xà, rui, hoành đều sơn son thếp vàng; có hai dãy hành lang tả hữu; bên ngoài là chỗ thay áo; đằng trước có ba tầng cửa. Quy mô chế thức rực rỡ mới mẻ. Sai triều thần là bọn Hồ Sĩ Dương làm văn khắc bia để ghi việc ấy

Tháng 12 năm Cảnh Trị thứ hai (1664) thì khánh thành điện Chiêu Sự ở đàn Nam Giao. Tấm bia điện Nam Giao là hiện vật nguyên vẹn duy nhất còn sót lại đến ngày nay minh chứng cho dấu tích điện Nam Giao, tuy nhiên bia đề năm Vĩnh Trị thứ 4 (1679), tức là bia được dựng 15 năm sau ngày khánh thành điện Chiêu Sự mới.

Phạm Đình Hổ ghi trong Vũ trung tùy bút[10]:

Đàn tế Giao nước ta lập ra từ thời Lý, đến thời Lê đã trùng tu lại. Chính giữa đàn có một cái đền gọi là Chiêu Sự điện. Nền điện cao độ một trượng, chung quanh xây bệ đá, bao lơn đá, chạm khắc rất khéo. Ở trong có xây một cái bệ đá để hợp tế các thần Hạo thiên thượng đế (trời), Hậu thổ địa kỳ (đất); thứ đến hai bên tả hữu là Thừa tướng đường, hai bên hành lang thì tế thần Đại minh (mặt trời) và Dạ minh (mặt trăng) cùng các vị tinh tú ở trên trời. Tất cả các vị thần kỳ, các vị đế vương đời trước đều được bày hàng để tế theo vào đấy. Lần cửa thứ nhất về mé ngoài là nơi hoàng thượng (vua Lê) thay áo, ở về bên tả; ra đến lần cửa thứ hai, rẽ về phía đông nam, là nơi đức vương thượng (chúa Trịnh) ra ngự; đến lần cửa thứ ba, bên ngoài có một ngôi nhà bảy gian là sở của phủ tiết chế đóng quân hầu

Đến cuối thời Lê Trung Hưng, khi chúa Trịnh suy tàn, vua Lê Chiêu Thống cho đốt hết các công trình kiến trúc và đàn Nam Giao cũng dần trở nên hoang phế. Năm 1802, khi vua Gia Long lên ngôi, triều Nguyễn đóng đô ở Phú Xuân (Huế) và cho đắp đàn tế ở làng An Ninh vào năm 1803, đến năm 1806 thì khởi công xây đàn mới ở phía Nam kinh thành thuộc phường Trường An, thành phố Huế. Thăng Long mất vai trò là kinh đô và bị đổi thành trấn thành rồi tỉnh thành. Từ đó đàn Nam Giao ở Thăng Long không còn tổ chức lễ tế nữa[3].

Sau này, gần giữa thế kỉ XIX, thời Minh Mạng, Vũ Tông Phan khi đến thăm di tích, trước cảnh tiêu điều đã phát sinh cảm thán. Bài thơ “Thăm đàn Nam Giao triều trước Lê” của ông có hai đoạn, đoạn đầu là:

Trong “Lỗ Am di cảo tập”, trước bài thơ, Vũ Tông Phan có lời chú về vùng đất này như sau: “Đàn Nam Giao này tại ô cầu Dền phía nam thành Thăng Long, là nơi tế trời của các triều Lý, Trần, hậu Lê, sau đến nhà Lê Trung Hưng. Vào mùa thu năm Quý Mão, niên hiệu Cảnh Trị (1663), Tây Vương Trịnh Tạc dựng điện Chiêu Sự ở đây, nay chỉ còn chính điện cột kèo vẫn như mới, nhưng hiên mái mất đến nửa. Trước chính điện có con Ly nằm giữa gai góc, chim sẻ làm tổ. Bên ngoài là ruộng lúa, kê bao quanh. Trâu, dê thả rông trên nền điện, xa xa còn thấy một tấm bia đá vỡ nằm trơ trọi, xóm thôn chen lẫn, cảm khái làm bài thơ...”. Như vậy là vào giữa thế kỷ XIX, đàn Nam Giao Thăng Long tuy đã hư hại nhiều nhưng vẫn còn dáng hình[1].

Năm 1804, người ta cho dỡ gạch ngói của Đàn để xây thành. Tại đây, chỉ còn sót lại nhà bia và tấm bia đá. Theo nhà nghiên cứu Nguyễn Văn Uẩn, đến năm 1926, tấm bia ghi chép về đàn Nam Giao vẫn nằm lăn lóc ngoài bãi cỏ của nhà máy diêm, rồi được được Viện Viễn đông Bác cổ chuyển về đặt tại sân vườn Bảo tàng Louis Finot vào năm 1947 (nay là Bảo tàng Lịch sử Quốc gia)[1][3].